大家好，上次我们实验了爬取了糗事百科的段子，那么这次我们来尝试一下爬取百度贴吧的帖子。与上一篇不同的是，这次我们需要用到文件的相关操作。

本篇目标

1.对百度贴吧的任意帖子进行抓取

2.指定是否只抓取楼主发帖内容

3.将抓取到的内容分析并保存到文件

1.URL格式的确定

首先，我们先观察一下百度贴吧的任意一个帖子。

比如：http://tieba.baidu.com/p/3138733512?see_lz=1&pn=1，这是一个关于NBA50大的盘点，分析一下这个地址。

 http://  代表资源传输使用http协议

 tieba.baidu.com 是百度的二级域名，指向百度贴吧的服务器。

 /p/3138733512 是服务器某个资源，即这个帖子的地址定位符

 see_lz和pn是该URL的两个参数，分别代表了只看楼主和帖子页码，等于1表示该条件为真

所以我们可以把URL分为两部分，一部分为基础部分，一部分为参数部分。

例如，上面的URL我们划分基础部分是 http://tieba.baidu.com/p/3138733512，参数部分是 ?see_lz=1&pn=1

2.页面的抓取

熟悉了URL的格式，那就让我们用urllib2库来试着抓取页面内容吧。上一篇糗事百科我们最后改成了面向对象的编码方式，这次我们直接尝试一下，定义一个类名叫BDTB(百度贴吧)，一个初始化方法，一个获取页面的方法。

其中，有些帖子我们想指定给程序是否要只看楼主，所以我们把只看楼主的参数初始化放在类的初始化上，即init方法。另外，获取页面的方法我们需要知道一个参数就是帖子页码，所以这个参数的指定我们放在该方法中。

综上，我们初步构建出基础代码如下：

__author__ = 'CQC' # -*- coding:utf-8 -*- import urllib import urllib2 import re #百度贴吧爬虫类 class BDTB: #初始化，传入基地址，是否只看楼主的参数 def __init__(self,baseUrl,seeLZ): self.baseURL = baseUrl self.seeLZ = '?see_lz='+str(seeLZ) #传入页码，获取该页帖子的代码 def getPage(self,pageNum): try: url = self.baseURL+ self.seeLZ + '&pn=' + str(pageNum) request = urllib2.Request(url) respOnse= urllib2.urlopen(request) print response.read() return response except urllib2.URLError, e: if hasattr(e,"reason"): print u"连接百度贴吧失败,错误原因",e.reason return None baseURL = 'http://tieba.baidu.com/p/3138733512' bdtb = BDTB(baseURL,1) bdtb.getPage(1)

运行代码，我们可以看到屏幕上打印出了这个帖子第一页楼主发言的所有内容，形式为HTML代码。

3.提取相关信息

1）提取帖子标题

首先，让我们提取帖子的标题。

在浏览器中审查元素，或者按F12，查看页面源代码，我们找到标题所在的代码段，可以发现这个标题的HTML代码是

纯原创我心中的NBA2014-2015赛季现役50大

所以我们想提取标签中的内容，同时还要指定这个class确定唯一，因为h1标签实在太多啦。

正则表达式如下

#获取帖子标题 def getTitle(self): page = self.getPage(1) pattern = re.compile('
#获取帖子一共有多少页 def getPageNum(self): page = self.getPage(1) pattern = re.compile('
#获取每一层楼的内容,传入页面内容 def getContent(self,page): pattern = re.compile('

 
真是醉了，还有一大片换行符和图片符，好口怕！既然这样，我们就要对这些文本进行处理，把各种各样复杂的标签给它剔除掉，还原精华内容，把文本处理写成一个方法也可以，不过为了实现更好的代码架构和代码重用，我们可以考虑把标签等的处理写作一个类。
 
那我们就叫它Tool（工具类吧），里面定义了一个方法，叫replace，是替换各种标签的。在类中定义了几个正则表达式，主要利用了re.sub方法对文本进行匹配后然后替换。具体的思路已经写到注释中，大家可以看一下这个类
 
 
import re #处理页面标签类 class Tool: #去除img标签,7位长空格 removeImg = re.compile('| {7}|') #删除超链接标签 removeAddr = re.compile('|') #把换行的标签换为\n replaceLine = re.compile('|
|
|
') #将表格制表替换为\t replaceTD= re.compile('') #把段落开头换为\n加空两格 replacePara = re.compile('') #将换行符或双换行符替换为\n replaceBR = re.compile('

|
') #将其余标签剔除 removeExtraTag = re.compile('<.*?>') def replace(self,x): x = re.sub(self.removeImg,"",x) x = re.sub(self.removeAddr,"",x) x = re.sub(self.replaceLine,"\n",x) x = re.sub(self.replaceTD,"\t",x) x = re.sub(self.replacePara,"\n ",x) x = re.sub(self.replaceBR,"\n",x) x = re.sub(self.removeExtraTag,"",x) #strip()将前后多余内容删除 return x.strip()
 
 
在使用时，我们只需要初始化一下这个类，然后调用replace方法即可。
 
现在整体代码是如下这样子的，现在我的代码是写到这样子的
 
 
__author__ = 'CQC' # -*- coding:utf-8 -*- import urllib import urllib2 import re #处理页面标签类 class Tool: #去除img标签,7位长空格 removeImg = re.compile('| {7}|') #删除超链接标签 removeAddr = re.compile('|') #把换行的标签换为\n replaceLine = re.compile('|
|
|
') #将表格制表替换为\t replaceTD= re.compile('') #把段落开头换为\n加空两格 replacePara = re.compile('') #将换行符或双换行符替换为\n replaceBR = re.compile('

|
') #将其余标签剔除 removeExtraTag = re.compile('<.*?>') def replace(self,x): x = re.sub(self.removeImg,"",x) x = re.sub(self.removeAddr,"",x) x = re.sub(self.replaceLine,"\n",x) x = re.sub(self.replaceTD,"\t",x) x = re.sub(self.replacePara,"\n ",x) x = re.sub(self.replaceBR,"\n",x) x = re.sub(self.removeExtraTag,"",x) #strip()将前后多余内容删除 return x.strip() #百度贴吧爬虫类 class BDTB: #初始化，传入基地址，是否只看楼主的参数 def __init__(self,baseUrl,seeLZ): self.baseURL = baseUrl self.seeLZ = '?see_lz='+str(seeLZ) self.tool = Tool() #传入页码，获取该页帖子的代码 def getPage(self,pageNum): try: url = self.baseURL+ self.seeLZ + '&pn=' + str(pageNum) request = urllib2.Request(url) respOnse= urllib2.urlopen(request) return response.read().decode('utf-8') except urllib2.URLError, e: if hasattr(e,"reason"): print u"连接百度贴吧失败,错误原因",e.reason return None #获取帖子标题 def getTitle(self): page = self.getPage(1) pattern = re.compile('
.*?(.*?)',re.S) result = re.search(pattern,page) if result: #print result.group(1) #测试输出 return result.group(1).strip() else: return None #获取每一层楼的内容,传入页面内容 def getContent(self,page): pattern = re.compile('

 
4）替换楼层
 
至于这个问题，我感觉直接提取楼层没什么必要呀，因为只看楼主的话，有些楼层的编号是间隔的，所以我们得到的楼层序号是不连续的，这样我们保存下来也没什么用。
 
所以可以尝试下面的方法：
 
1.每打印输出一段楼层，写入一行横线来间隔，或者换行符也好。
 
2.试着重新编一个楼层，按照顺序，设置一个变量，每打印出一个结果变量加一，打印出这个变量当做楼层。
 
这里我们尝试一下吧，看看效果怎样
 
把getContent方法修改如下
 
 
#获取每一层楼的内容,传入页面内容 def getContent(self,page): pattern = re.compile('
运行一下看看效果 
 
 

 
嘿嘿，效果还不错吧，感觉真酸爽！接下来我们完善一下，然后写入文件
 
4.写入文件
 
最后便是写入文件的过程，过程很简单，就几句话的代码而已，主要是利用了以下两句
 
file = open(“tb.txt”,”w”)
 
file.writelines(obj)
 
这里不再赘述，稍后直接贴上完善之后的代码。
 
5.完善代码
 
现在我们对代码进行优化，重构，在一些地方添加必要的打印信息，整理如下
 
 
__author__ = 'CQC' # -*- coding:utf-8 -*- import urllib import urllib2 import re #处理页面标签类 class Tool: #去除img标签,7位长空格 removeImg = re.compile('| {7}|') #删除超链接标签 removeAddr = re.compile('|') #把换行的标签换为\n replaceLine = re.compile('|
|
|
') #将表格制表替换为\t replaceTD= re.compile('') #把段落开头换为\n加空两格 replacePara = re.compile('') #将换行符或双换行符替换为\n replaceBR = re.compile('

|
') #将其余标签剔除 removeExtraTag = re.compile('<.*?>') def replace(self,x): x = re.sub(self.removeImg,"",x) x = re.sub(self.removeAddr,"",x) x = re.sub(self.replaceLine,"\n",x) x = re.sub(self.replaceTD,"\t",x) x = re.sub(self.replacePara,"\n ",x) x = re.sub(self.replaceBR,"\n",x) x = re.sub(self.removeExtraTag,"",x) #strip()将前后多余内容删除 return x.strip() #百度贴吧爬虫类 class BDTB: #初始化，传入基地址，是否只看楼主的参数 def __init__(self,baseUrl,seeLZ,floorTag): #base链接地址 self.baseURL = baseUrl #是否只看楼主 self.seeLZ = '?see_lz='+str(seeLZ) #HTML标签剔除工具类对象 self.tool = Tool() #全局file变量，文件写入操作对象 self.file = None #楼层标号，初始为1 self.floor = 1 #默认的标题，如果没有成功获取到标题的话则会用这个标题 self.defaultTitle = u"百度贴吧" #是否写入楼分隔符的标记 self.floorTag = floorTag #传入页码，获取该页帖子的代码 def getPage(self,pageNum): try: #构建URL url = self.baseURL+ self.seeLZ + '&pn=' + str(pageNum) request = urllib2.Request(url) respOnse= urllib2.urlopen(request) #返回UTF-8格式编码内容 return response.read().decode('utf-8') #无法连接，报错 except urllib2.URLError, e: if hasattr(e,"reason"): print u"连接百度贴吧失败,错误原因",e.reason return None #获取帖子标题 def getTitle(self,page): #得到标题的正则表达式 pattern = re.compile('
.*?(.*?)',re.S) result = re.search(pattern,page) if result: return result.group(1).strip() else: return None #获取每一层楼的内容,传入页面内容 def getContent(self,page): #匹配所有楼层的内容 pattern = re.compile('
现在程序演示如下 
 
 

 
完成之后，可以查看一下当前目录下多了一个以该帖子命名的txt文件，内容便是帖子的所有数据。
 
抓贴吧，就是这么简单和任性！
 
原文发布时间为：2018-11-30
 
本文作者：灯塔大数据
 
本文来自云栖社区合作伙伴“灯塔大数据”，了解相关信息可以关注“DTbigdata”微信公众号
        

        
        
    



    

        

                        
python
                        
百度
                        
文件
                        
http
                        
服务器
                        
utf-8
                        
import
                        
爬虫
                        
get
                    
    



    

        
写下你的评论吧 !
        

            

                吐个槽吧,看都看了
            
            

                

                                        会员登录 | 用户注册
                                    
                

            
        

        
    

    

        
推荐阅读
        

            

                                

                    

                        config
                        
树莓派语音控制的配置方法和步骤
                    

                    

                                                

                            
                        
                                                

                        本文介绍了在树莓派上实现语音控制的配置方法和步骤。首先感谢博主Eoman的帮助，文章参考了他的内容。树莓派的配置需要通过sudo raspi-config进行，然后使用Eoman的控制方法，即安装wiringPi库并编写控制引脚的脚本。具体的安装步骤和脚本编写方法在文章中详细介绍。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-12 03:02:49
                    

                

                
                                

                    

                        search
                        
Python爬虫中使用正则表达式的方法和注意事项
                    

                    

                                                

                            
                        
                                                

                        本文介绍了在Python爬虫中使用正则表达式的方法和注意事项。首先解释了爬虫的四个主要步骤，并强调了正则表达式在数据处理中的重要性。然后详细介绍了正则表达式的概念和用法，包括检索、替换和过滤文本的功能。同时提到了re模块是Python内置的用于处理正则表达式的模块，并给出了使用正则表达式时需要注意的特殊字符转义和原始字符串的用法。通过本文的学习，读者可以掌握在Python爬虫中使用正则表达式的技巧和方法。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-12 11:51:07
                    

                

                                

                    

                    
                
                
                                

                    

                        import
                        
YOLOv7基于自己的数据集从零构建模型完整训练、推理计算超详细教程
                    

                    

                                                

                            
                        
                                                

                        本文介绍了关于人工智能、神经网络和深度学习的知识点，并提供了YOLOv7基于自己的数据集从零构建模型完整训练、推理计算的详细教程。文章还提到了郑州最低生活保障的话题。对于从事目标检测任务的人来说，YOLO是一个熟悉的模型。文章还提到了yolov4和yolov6的相关内容，以及选择模型的优化思路。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-14 18:28:01
                    

                

                
                                

                    

                        java
                        
开发笔记:加密&json&StringIO模块&BytesIO模块
                    

                    

                                                

                            
                        
                                                

                        篇首语：本文由编程笔记#小编为大家整理，主要介绍了加密&json&StringIO模块&BytesIO模块相关的知识，希望对你有一定的参考价值。一、加密加密 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-14 15:18:35
                    

                

                
                                

                    

                        import
                        
Python瓦片图下载、合并、绘图、标记的代码示例
                    

                    

                                                

                            
                        
                                                

                        本文提供了Python瓦片图下载、合并、绘图、标记的代码示例，包括下载代码、多线程下载、图像处理等功能。通过参考geoserver，使用PIL、cv2、numpy、gdal、osr等库实现了瓦片图的下载、合并、绘图和标记功能。代码示例详细介绍了各个功能的实现方法，供读者参考使用。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-13 12:14:55
                    

                

                
                                

                    

                        config
                        
web.py开发web 第八章 Formalchemy 服务端验证方法
                    

                    

                                                

                            
                        
                                                

                        本文介绍了在web.py开发中使用Formalchemy进行服务端表单数据验证的方法。以User表单为例，详细说明了对各字段的验证要求，包括必填、长度限制、唯一性等。同时介绍了如何自定义验证方法来实现验证唯一性和两个密码是否相等的功能。该文提供了相关代码示例。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-12 16:36:00
                    

                

                
                                

                    

                        window
                        
基于dlib的人脸68特征点提取(眨眼张嘴检测)python版本
                    

                    

                                                

                            
                        
                                                

                        文章目录引言开发环境和库流程设计张嘴和闭眼的检测引言(1)利用Dlib官方训练好的模型“shape_predictor_68_face_landmarks.dat”进行68个点标定 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-12 13:27:42
                    

                

                
                                

                    

                        join
                        
Python自动提取文本中的时间（包含中文日期）及特殊时间识别方法
                    

                    

                                                

                        本文介绍了在处理不规则数据时如何使用Python自动提取文本中的时间日期，包括使用dateutil.parser模块统一日期字符串格式和使用datefinder模块提取日期。同时，还介绍了一段使用正则表达式的代码，可以支持中文日期和一些特殊的时间识别，例如'2012年12月12日'、'3小时前'、'在2012/12/13哈哈'等。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-12 12:09:33
                    

                

                
                                

                    

                        import
                        
延迟注入工具（python）的SQL脚本
                    

                    

                                                

                            
                        
                                                

                        本文介绍了一个延迟注入工具（python）的SQL脚本，包括使用urllib2、time、socket、threading、requests等模块实现延迟注入的方法。该工具可以通过构造特定的URL来进行注入测试，并通过延迟时间来判断注入是否成功。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-12 10:36:42
                    

                

                
                                

                    

                        java
                        
SpringMVC接收请求参数的方式总结
                    

                    

                                                

                            
                        
                                                

                        本文总结了在SpringMVC开发中处理控制器参数的各种方式，包括处理使用@RequestParam注解的参数、MultipartFile类型参数和Simple类型参数的RequestParamMethodArgumentResolver，处理@RequestBody注解的参数的RequestResponseBodyMethodProcessor，以及PathVariableMapMethodArgumentResol等子类。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-11 19:55:40
                    

                

                
                                

                    

                        java
                        
计算机存储系统的层次结构及其优势
                    

                    

                                                

                            
                        
                                                

                        本文介绍了计算机存储系统的层次结构，包括高速缓存、主存储器和辅助存储器三个层次。通过分层存储数据可以提高程序的执行效率。计算机存储系统的层次结构将各种不同存储容量、存取速度和价格的存储器有机组合成整体，形成可寻址存储空间比主存储器空间大得多的存储整体。由于辅助存储器容量大、价格低，使得整体存储系统的平均价格降低。同时，高速缓存的存取速度可以和CPU的工作速度相匹配，进一步提高程序执行效率。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-13 17:32:41
                    

                

                
                                

                    

                        search
                        
Python正则表达式学习记录及常用方法
                    

                    

                                                

                            
                        
                                                

                        本文记录了学习Python正则表达式的过程，介绍了re模块的常用方法re.search，并解释了rawstring的作用。正则表达式是一种方便检查字符串匹配模式的工具，通过本文的学习可以掌握Python中使用正则表达式的基本方法。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-13 16:37:19
                    

                

                
                                

                    

                        import
                        
使用正则表达式爬取36Kr网站首页新闻的操作步骤和代码示例
                    

                    

                                                

                            
                        
                                                

                        本文介绍了使用正则表达式来爬取36Kr网站首页所有新闻的操作步骤和代码示例。通过访问网站、查找关键词、编写代码等步骤，可以获取到网站首页的新闻数据。代码示例使用Python编写，并使用正则表达式来提取所需的数据。详细的操作步骤和代码示例可以参考本文内容。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-12 19:16:21
                    

                

                
                                

                    

                        search
                        
使用cacti监控mssql 2005运行资源情况的操作步骤
                    

                    

                                                

                        本文介绍了使用cacti监控mssql 2005运行资源情况的操作步骤，包括安装必要的工具和驱动，测试mssql的连接，配置监控脚本等。通过php连接mssql来获取SQL 2005性能计算器的值，实现对mssql的监控。详细的操作步骤和代码请参考附件。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-12 13:57:58
                    

                

                
                                

                    

                        import
                        
Python解析C语言结构体
                    

                    

                                                

                        本文介绍了使用Python解析C语言结构体的方法，包括定义基本类型和结构体类型的字典，并提供了一个示例代码，展示了如何解析C语言结构体。 ...
                        [详细]
                    
                    


                    

                        蜡笔小新   2023-12-11 18:45:50
                    

                

                
                
                                

                    
                    
                    
                
                

            
        
    



















    


    

        

            
            

                
                
            

            

                13486099491_fb9570            

            

                这个家伙很懒，什么也没留下！            


        
    

    

    

    
    

    

        
Tags | 热门标签
        

            

                                

                    replace
                
                                

                    hashtable
                
                                

                    httprequest
                
                                

                    shell
                
                                

                    spring
                
                                

                    import
                
                                

                    java
                
                                

                    datetime
                
                                

                    default
                
                                

                    triggers
                
                                

                    keyword
                
                                

                    filter
                
                                

                    perl
                
                                

                    controller
                
                                

                    blob
                
                                

                    command
                
                                

                    bash
                
                                

                    buffer
                
                                

                    case
                
                                

                    hashcode
                
                                

                    solr
                
                                

                    window
                
                                

                    const
                
                                

                    loops
                
                                

                    search
                
                                

                    config
                
                                

                    node.js
                
                                

                    version
                
                                

                    join
                
                                

                    flutter
                
                                

            
        
    

    
    

        

            

            

        
        
RankList | 热门文章
        

            

                                

                    1如何设置mysql的环境变量？
                
                                

                    2那些离开大厂去往Web3的BUIDLers
                
                                

                    3JAVA的三大特征之多态
                
                                

                    42012五大App趋势：软件开发不容小觑
                
                                

                    5解决Putty中文乱码
                
                                

                    6图像增强代码汇总
                
                                

                    7简述原型模型的特点_模板匹配模型、原型模型和区别性特征模型各自如何解释汉字的知觉...
                
                                

                    8golang windos 和linux文件_golang系列—项目管理和环境配置(一)
                
                                

                    9订单模块的实现
                
                                

                    10《永遇乐》翻译 原文赏析诗人宋吴文英
                
                                

                    11剑指offer格子覆盖
                
                                

                    12linux gcc百度经验,详解Linux安装GCC方法
                
                                

                    13常用v_视图
                
                                

                    14当join语句用于两个查询时给出错误的记录 - Giving wrong records when join statement used for two queries
                
                                

                    15灯泡与影子（三分）
                
                            
        
    
    
    




    PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具  | 在线工具

    Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved  |   京公网安备 11010802041100号  |  京ICP备19059560号-4 | PHP1.CN 第一PHP社区      版权所有